#LLM Quantization

3 篇

SpectrumQuant: Spectrum Alignment for LLM Quantization

SpectrumQuant：面向LLM量化的谱对齐旋转方法

🧭 LLM 量化 · 正交旋转 ★ 深度解读

Indian Institute of Science

通过协方差最大化推导出闭式数据感知正交变换，大幅降低LLM量化校准成本

📌 工作参考价值（4 点）

数据感知旋转替代固定 Hadamard：在电商/搜索推荐场景部署 LLM 时，若采用旋转量化（如 QuaRot、SpinQuant），可直接用激活协方差特征向量作为对齐组件 U，再与 Hadamard/Butterfly 混合，无需迭代优化即可获得与学得旋转相当的精度，适合快速适配领域数据（如电商 query、商品描述）。
闭式解大幅降低校准成本：SpectrumQuant 仅需估计激活协方差并做特征分解，70B 模型校准仅 43 分钟（单 A6000 GPU），内存占用 22 GiB，相比 SpinQuant 加速 21 倍、省 9.8 倍内存，且支持 CPU 校准，适合资源受限的线上服务或边缘部署。
旋转可完全吸收进权重，零推理开销：正交旋转矩阵可合并到相邻权重中，实测 MacBook 上推理吞吐与无旋转基线一致，不影响在线延迟，适合对实时性要求高的搜索推荐/Agent 系统。
Butterfly 矩阵作为高效混合组件：理论证明满足 |v_{ki}|=1/√d 的正交矩阵（Hadamard、特定角度 Butterfly）均为最优混合组件，Butterfly 乘法 O(d log d) 可进一步降低在线计算，替换 R3/R4 中的 Hadamard 不影响精度。

LLM | 2026-10-14 | stat.ML | score 8/10

PrismQuant：分组量化器的最优零空间旋转对齐

🧭 LLM 量化 · 零空间旋转对齐 ★ 深度解读

Nanyang Technological University · Nanjing University of Posts and Telecommunications · Nanjing University · Qualcomm AI Research

把激活主特征空间对齐到分组非对称 INT4 的组内常量子空间，实现 W4A4KV4 下 SOTA 且近乎无损

📌 工作参考价值（4 点）

部署 LLM 在线推理（Agent / LLM ranker / 生成式推荐）时，W4A4KV4 是可用压缩点；不要只做 Hadamard 式“把能量摊平”，而应把 activation 的主成分旋转到 per-group 常量方向，让已有 fp16 zero-point 吸收大能量，减少组内 range。这个思路可直接复用到你的 activation quantizer。
分组大小 g 不仅决定 scale 分辨率，还决定可供对齐的零空间维度（d/g 个零 slot）。在相同 activation bit 预算下，优先用更细 group（g=128）而不是在更粗 group 里加额外 affine 方向；实测 g=128 单方向优于 g=256 三方向。对 KV cache / item embedding 表量化同样有借鉴意义。
如果业务模型是 MoE（多领域 / 多场景 Expert 推荐或 MoE LLM），每个 expert 单独估计 activation 二阶矩并给独立 R4，router 保持 bf16 且 R1 fold 进 router 输入以保持路由不变；冷 expert 用 pooled covariance shrinkage，能恢复大部分 Hadamard 损失。
工程实现上，旋转可折叠进相邻权重，避免在线 dense rotation；对不可折叠的 down-projection 输入，用 rank-k compact WY 修正 + block Hadamard，Tensor Core 两 kernel 实现，增加约 2.4% decode latency，但 prefill 1.51× / decode 1.22× vs FP16。部署 LLM 特征提取或排序模型时，可把旋转离线折进权重，线上只保留小 rank 修正。

LLM | 2026-09-25 | HF Daily | score 8/10

OffQ：用偏移消除LLM量化中的结构化离群值

🧭 LLM量化 · 后训练均匀精度 ★ 深度解读

EPFL · Huawei · ETH Zurich

提出OffQ，通过Top-1 PCA浓缩离群并在组内用Hadamard旋转转为偏移，实现统一精度W4A4KV4量化，超越SoTA。

📌 工作参考价值（4 点）

推理加速：W4A4KV4量化将模型内存与计算缩减至4-bit，直接降低在线推理成本，适合电商推荐、多Agent对话等延迟敏感场景，OffQ可避免精度损失过多。
离群值处理：利用Top-1 PCA识别activation离群方向并浓缩到单一通道，然后通过组偏移吸收，该方法可迁移至任何需要消除离群值的量化场景（如模型压缩、KV cache量化）。
工程实现：不依赖反向传播学习旋转或混合精度，仅需标准均匀量化和快速Hadamard旋转，可在现有推理框架中轻量集成，无需定制核函数。
组量化策略：采用分组偏移和排序分组，平衡量化粒度与开销；每128通道一组时等效位宽仅4.25bits，适合做显存/带宽受限的边缘部署。

LLM | 2026-06-05 | cs.CL | score 8/10